TensorFlow之DNN(二):全連接神經網絡的加速技巧(Xavier初始化、Adam、Batch Norm、學習率衰減與梯度截斷)
在上一篇博客《TensorFlow之DNN(一):構建“裸機版”全連接神經網絡》 中,我整理了一個用TensorFlow實現的簡單全連接神經網絡模型,沒有運用加速技巧(小批量梯度下降不算哦)和正則化方 ...
在上一篇博客《TensorFlow之DNN(一):構建“裸機版”全連接神經網絡》 中,我整理了一個用TensorFlow實現的簡單全連接神經網絡模型,沒有運用加速技巧(小批量梯度下降不算哦)和正則化方 ...
學卷積神經網絡的理論的時候,我覺得自己看懂了,可是到了用代碼來搭建一個卷積神經網絡時,我發現自己有太多模糊的地方。這次還是基於MINIST數據集搭建一個卷積神經網絡,首先給出一個基本的模型,然后再用B ...
Wide Residual Networks (WRNs)是2016年被提出的基於擴展通道數學習機制的卷積神經網絡。對深度卷積神經網絡有了解的應該知道隨着網絡越深性能越好,但是訓練深度卷積神經網絡存在 ...
停更博客好長一段時間了,其實並不是沒寫了,而是轉而做筆記了,但是發現做筆記其實印象無法更深刻,因此決定繼續以寫博客來記錄或者復習鞏固所學的知識,與此同時跟大家分享下自己對深度學習或者機器學習相關的知識 ...
在機器學習領域中,有一個重要的假設:獨立同分布假設,也就是假設訓練數據和測試數據是滿足相同分布的,否則在訓練集上學習到的模型在測試集上的表現會比較差。而在深層神經網絡的訓練中,當中間神經層的前一層參數 ...
batch normalization學習理解筆記 最近在Andrew Ng課程中學到了Batch Normalization相關內容,通過查閱資料和原始paper,基本上弄懂了一些算法的細節部分, ...